Spark streaming 和kafka 处理确保消息不丢失的总结 接入kafka 我们前面的1到4 都在说 spark streaming 接入 kafka 消息的事情。讲了两种接入方式，以 ...

源码分析的spark版本是1.6。 首先，先看一下 org.apache.spark.streaming.dstream.InputDStream 的 类说明： 翻译如下： ...

使用分布式receiver来获取数据使用 WAL 来实现 At least once 操作： conf.set("spark.streaming.receiver.writeAheadLog.enab ...